home *** CD-ROM | disk | FTP | other *** search
/ EnigmA Amiga Run 1997 April / EnigmA AMIGA RUN 17 (1997)(G.R. Edizioni)(IT)[!][issue 1997-04][EAR-CD].iso / EARCD / comm / www / GrabURL.lha / GrabURL.readme next >
Text File  |  1996-12-16  |  1KB  |  34 lines
  1. Short:    Utility to recursively download HTTP files.
  2. Author:   emonds@ere.umontreal.ca (Serge Emond)
  3. Uploader: emonds@ere.umontreal.ca (Serge Emond)
  4. Type:     comm/www
  5.  
  6. Requires at least OS 3.0, rexxdossupport.library V2 and AmiTCP 4.0+.
  7.  
  8. Contains 4 things:
  9. 1) GrabHTTP.   Can grab files using the HTTP protocol.  (ARexx host)
  10. 2) UrlManager. Keep a list of urls.  (ARexx host)
  11. 3) ParseHTML.  Scans an HTML file and create a list o urls contained
  12.                it it.
  13. 4) GrabURL.rexx.
  14.  
  15. The #4 uses the 3 other programs to grab one or more url using the HTTP
  16. protocol.  It can collect urls recursively using AmigaDOS patterns,
  17. if file does not already exists on disk, if it has been modified since last
  18. grab (only if remote server supports it), etc.  It can also grab for a
  19. maximum number of byte or time.  It can keep a workfile allowing you to
  20. continue exactly where the grabbing was when it stopped.
  21.  
  22. GrabURL also have many other features.
  23.  
  24. GrabHTTP also have a small GUI (which can be turned off).
  25.  
  26. This is freeware.  The source is ugly and not really optimized (ie I'm sure
  27. it use more memory than necessary) but it works better or faster than any
  28. of the other utilities [of the same kind] I saw on Aminet.  I'm planning to
  29. completely rewrite it (with full internal multitasking & multiple grabs at
  30. once for a single GrabURL running) but I don't have time to do that for
  31. now.
  32.  
  33. Comments are welcome.
  34.